【毅力挑战】PCIe 每日一问一答（2022.05 已归档）

本文意在督促自己持续学习 PCIe。日更长文做不到，但三言两语总该能写出来。一天至少更新一个 PCIe 相关知识点，聚沙成塔、集腋成裘，相信几年下来总能覆盖绝大部分的 PCIe 知识面。本文注定越往后越难更，看我能坚持多久吧。

👉 本篇为 2022.05 归档，点击查看总目录 👈

  First DW BE 和 Last DW BE 是 Memory 读写请求 TLP Header 中的一个字段，指示读写请求数据载荷中的第一个及最后一个 DW 中的数据 Byte 是否有效。First DW BE[3:0] 对应第一个 DW 的 Byte[3:0]，Last DW BE[3:0] 对应最后一个 DW 的 Byte[3:0]，如图 1 所示。

  若 BE 某 bit 为 0，表示该 byte 数据不能写入 Memory 或不可预取、不可读。若请求长度大于 1 DW，First DW BE 不能为 0；若请求长度等于 1 DW，Last DW BE 只能为 0；First/Last DW BE 的 4 bit 可以不连续。对于 Zero Read/Write，First/Last DW BE 均为 0。

  PCIe Scrambling 中常用的两种 LFSR 方案为 Separated LFSR 与 Shared LFSR。

  默认情况下 Scrambling 是打开的。Scrambling 的确有很多好处，比如减低 EMI，但在设备调试阶段，工程人员想要更容易地查看传输的数据，数据 Scrambling 无疑增加了数据辨识难度。为了更容易地查看传输数据，可以选择关闭 Scrambling 功能。只能在链路训练的 Configuration.Complete 阶段通过发送 Disable Scrambing 位（Symbol 5 Bit 3）为 1 的 TS1 或 TS2 来关闭对端的 Scrambling 功能，且只能在 8b/10b 编码期间来关闭 Scrambling。

  128b/130b 编码时 Sync Header 和 TS Symbol 0 不做 Scrambling，不会影响 DC Balance。Sync Header 为 01b 或 10b，TS Symbol 0 为 1Eh(00011110b)，0、1 数量相同，本身已经实现了 DC Balance。

  在链路训练期间，若 Rx 检测到了未定义的 Sync Header，则认为块对齐丢失（Loss of Block Alignment）。块对齐丢失是因为 Rx Block Alignment 失败，需要重新回退到 Unaligned Phase 进行块对齐。

  STP，Start of TLP，在 128b/130b 编码 Data Block 中指示开始发送 TLP 的 Frame Token，如图 2 所示。该 Token 中携带有接下来要发送的 TLP Length 及 TLP Sequence Number。TLP Length 是个相当重要的字段，为了保护该字段，STP 中规划了 FCRC (Frame CRC) 及 FP (Frame Parity) 两个字段来对 TLP Length 进行保护。

  FCRC 通过 10 Bit TLP Length 按照一定算法计算获得，只保护 TLP Length，能够检测出 2 Bit 错误。常规 FP 奇偶校验则是校验 TLP Length 及 FCRC 字段，缩减版 FP 只检验 TLP Length 中的特定位，能够检测出奇数位的 Bit 错误。

  128b/130b 编码时，EIOS 由 16 个 66h 组成。若当前发送的 EIOS 之后紧接着还有 EIOS，那么必须发送完完整的 16 个 66h 当前 EIOS 才算发送完毕。若发送完当前 EIOS 接下来便进入电气闲，那么发送完 14 个 66h 后就可以停止发送 剩下的 66h，仍认为当前 EIOS 发送完毕，称为 EIOS 截断。

  EIOS 截断是为了解决 128b/130b 编码期间发送端可能存在的符号边界上的时钟边界不对齐情况。EIOS 截断不会影响接收端对 EIOS 的判断，因为接收端只需要收到 6 个 EIOS 就可以做出接收到 EIOS 的判断了。

  从 L0s 回退到 L0 时，Tx 发送 N_FTS 个 FTS。如果 Rx 在此期间实现了位锁定、符号锁定及块对齐，那么能够成功 回退到 L0。如果 Rx 再次期间没有完成位锁定、符号锁定及块对齐，那么 Rx 会超时退到 Recovery，沟通加大 N_FTS，在 Recovery 阶段完成未完成的锁定及对齐工作，然后进入 L0。

  PCIe 数据链路层位于事务层与物理层之间，用以保证数据传输的可靠性。

  其主要功能如下：

  DLLP，全称 Data Link Layer Packet，数据链路层包，用以 PCIe 链路管理及维护（链路初始化、电源管理等）。DLLP 仅在 PCIe 链路两端设备的数据链路层之间传输，其源于发送端设备的数据链路层，终于接收端设备的数据链路层。当 TLP 及 DLLP 均需要发送时，按照一定规则交替发送。

  根据功能的不同，DLLP 大致可分四类：

  ACK/NAK、FC 及 PM DLLP 均为链路管理 DLLP。此外，还有 MR、NOP 及 Data_Link_Feature DLLP。各 DLLP 类型之间通过 DLLP 中的 Tyte 字段 (Byte0) 进行区分。

  NOP（No Operation）DLLP 是 PCIe 3.0 引入的概念，其帧格式下图所示，Payload 字段（Byte1~3）为任意值。NOP DLLP 仅用于链路测试场景，常规操作模式时不应发送 NOP DLLP，接收端接收到 NOP DLLP 后，在做完数据数据完整性检测后直接丢弃。

  Data Link Feature DLLP 是一种携带有数据链路层 Feature 及相关 Ack 信息的 DLLP，数据链路层处于 DL_Feature 状态（可选）时，PCIe 链路两端的数据链路层通过 Data_Link_Feature DLLP 来告知彼此支持的数据链路层特性。

  Data_Link_Feature DLLP 帧格式如下图所示，其中 Feature Support 字段来源于其 Data Link Feature Capabilities Register 的 Local Data Link Feature Supported 字段，目前只有 Local Scaled FC 这一个 Feature。当本端接收到对端发来的 Data_Link_Feature DLLP 后，回复以 Feature Ack 置一的 Data_Link_Feature DLLP。

  首先，若能够接收到 DLLP，每一笔 DLLP 都携带有 2B CRC，来保证接收 DLLP 的正确性。

  其次，若 DLLP 丢包，对于 Ack/Nak DLLP，要么没有影响（短暂丢 Ack），要么有 Timeout 机制来保证 TLP 重传（丢 Nak，长时间丢 Ack）。对于 PM DLLP，会重复多次或者持续发送相关 DLLP，确保对端能够收到。对于 FC DLLP，发送端在收到对端发来的 InitFC 前会一直定时发送 InitFC 给对端；对于 UpdateFC，其是定时发送的，偶尔丢一个影响不大，采用最新收到的 Credit 就好了。

  ECRC，End-to-End CRC，由事务层生成及解析，是可选的，是 TLP 的组成部分，Size 4B，位于 Data Payload 之后。ECRC 始于 Requester，终于 Completer，不会被 Switch 等中间节点修改。ECRC 错误是不可纠正错误，若 Switch 发现 ECRC 出错，其记录错误并继续转发；若 Completer 发现 ECRC 出错，则上报错误请求系统处理。

  LCRC，Link CRC，由数据链路层生成及解析，是必选的，Size 4B，添加在 TLP 之后。LCRC 始于 PCIe 链路的发送端数据链路层，终于 PCIe 链路的接收端数据链路层，途径 Switch 时需要进行校验并重新进行计算填充。LCRC 是可纠正错误，若接收端检测到 LCRC 出错，其请求重发该 TLP。

参考与友链：ECRC vs LCRC – PCIe技术网

  若 Cfg/Mem/IO Write/Read、Completion、Message 等几种不同的 TLP 同时需要发送，Synopsys 推荐按照以下优先级进行发送：

  若几种不同的 DLLP 同时，建议按照以下由高到低的优先级进行发送：

  若数据链路层同时有 TLP、TS、DLLP 要发送时，是需要按照一定的优先级进行发送的。官方文档中给了一直建议的发送顺序（不强制），优先级从高到低依次为：

  PCIe 通过 ACK/NAK 机制来保证 TLP 在 PCIe 链路上的 End-to-End 可靠传输。

  PCIe ACK/NAK 机制示意图如下图所示，通过几个关键要素来简单介绍 ACK/NAK 机制：

友链：ACK & NAK – PCIe技术网

  并非每一笔 Good TLP 都需要回复一笔 Ack DLLP，这样效率太低了。

  PCIe Rx 数据链路层内部有个 AckNak_Latency_Timer，从收到某笔没有回复 Ack 的 TLP 就开始计时，达到指定时间后（取决于 Timer 设计）才会要一次 Ack。此前有可能会收到多比 Good TLP，这些 TLP 只回复一次 Ack，Ack 的 Sequence Number (SN) 为最新 Good TLP 的 SN。Tx 端收到 Ack 后，会把 Tx Retry Buffer 中 SN 之前的 TLP 清理掉。

  简单而言，Rx 发现 Bad TLP 或 TLP 丢包时会发送 Nak。通过检测 LCRC 来检测 TLP 是否为 Bad TLP，通过 SN 还判断是否有 TLP 丢包。

  根据 Nak DLLP 中的 SN，从 Tx Retry Buffer 中取出相应 TLP 进行重传，重传次数计数器 REPLAY_NUM 加一，重传计时器 REPLAY_TIMER 启动。

  若 TLP 多次重传均以失败告终，重传计数器 REPLAY_NUM 会溢出时，此时考虑是物理链路出现了问题，应记录错误事件并通知物理层重新对物理链路进行训练。此时数据链路层仍然是 Active 的，其 Tx Retry Buffer 不清空，相关计数器及寄存器值也不复位，等待物理链路训练完成后接着进行重传。

  跟绝大多数 Buffer Size 的设计原则相同，在设计 Tx Retry Buffer Size 时应遵循两大原则：

Size 足够大，确保常规操作时收到 Ack 并清掉其对应 TLP 前 Buffer 不溢出。

在满足以上需求的前提下，Size 尽量小，以降低成本。

  第一条“收到 Ack 并清掉其对应 TLP 前 Buffer 不溢出”，这里有两个关键因素：①收到 Ack 前，②不溢出。也就是说，从某 TLP 发出并存到 Tx Retry Buffer，到收到其 Ack 后从 Tx Retry Buffer 清掉该 TLP 为后来者腾空间，这段时间内发出的所有 TLP 都能够存放在 Buffer 中且 Buffer 不溢出。需要考虑以下时延：

  数据链路层状态机（Data Link Control and Management State Machine, DLCMSM），用以①控制及管理数据链路层工作状态，②在事务层、物理层之间沟通链路状态，③触发物理层进行链路状态管理等。DLCMSM 状态转移图如下图所示。

  DLCMSM 是数据链层状态机，LTSSM 是物理层链路训练状态机，两者各自为各自层次负责，同时又有一定的联系。

  在物理层 LTSSM 进入 Target Speed L0 之前，DLCMSM 都处于 DL_Inactive 状态，物理层训练完毕（Target Speed L0，PL_LinkUp=1）之后，DLCMSM 进入 DL_Feature 交换 DL Feature 或直接进入 DL_Init 进行流控初始化。流控初始化完成之后才进入 DL_Active 状态，至此DL_LinkUp=1。

  DL_Feature 是一个可选的状态，只有 ①PCIe 设备支持且开启了 Data Link Feature Exchange 且 ②物理层 PL_LinkUp=1 之后，DLCMSM 才会由 DL_Inactive 进入 DL_Feature 状态。

  数据链路层处于 DL_Feature 状态（可选）时，PCIe 链路两端的数据链路层通过 Data_Link_Feature DLLP 来告知彼此支持的数据链路层特性。

Data_Link_Feature DLLP 的 Feature Support 字段来源于其 Data Link Feature Capabilities Register 的 Local Data Link Feature Supported 字段，目前只有 Local Scaled FC 这一个 Feature。当本端接收到对端发来的 Data_Link_Feature DLLP 后，回复以 Feature Ack 置一的 Data_Link_Feature DLLP。

  PCIe Flow Control (FC) 是一种基于信用量 (Credit) 的点到点的 TLP 流控机制（非端到端），确保接收端有足够缓存的前提下才会发送 TLP。

  PCIe 流控逻辑位于事务层，通过 FC DLLP 来进行流控初始化及 Credit 更新。PCIe 多个虚通道（Virtual Channal, VC）之间独立进行流控，同一 VC 内，也按照根据事务类型（P/NP/CPL）及 Header/Data 分为多种 Credit 独立流控。

友链：PCIe扫盲——Flow Control基础

  PCIe 基于 FC DLLP 来实现流控初始化及流控 Credit 的更新。流控初始化用到的 FC DLLP 包括 InitFC1-P、InitFC1-NP、InitFC1-Cpl、InitFC2-P、InitFC2-NP、InitFC2-Cpl，Credit 更新用到的 DLLP 包括 UpdateFC-P、UpdateFC-NP 及 UpdateFC-Cpl。

  PCIe 流控初始化发生于物理层 LinkUp=1 之后、数据链路层 DLCMSM=DL_Init 状态时。

  PCIe 流控初始化先后分为两个阶段：

  InitFC2 期间发送的 InitFC2 DLLP 不携带 Credit 信息，仅用以确认流控初始化是否成功。InitFC1 期间不能发送 TLP，InitFC2 期间可以。